混合现实未来展望（三）
在《混合现实未来展望（一）》中，我们总结了混合现实在适应主流的过程中，当前所遇到的和未来将面临的问题。在《混合现实未来展望（二）》中，我们探讨了这种新的混合现实媒介的开发人员将会面临的设计挑战。在这个系列之后一个部分中，我们将分析基础性平台的进化方向和必要性，并勾勒出我们眼中未来MR应用程序的创造和执行方式。
基础的MR服务
Unity提供的用于创建应用程序的工具和服务必须存在于一组基础服务中并与之进行交互，而这些应用程序也要具备这样的功能。因此，为了了解MR创造与应用的未来和发展方向，我们需要进行回顾，全面思考。
2014年Facebook收购了Oculus，开启了消费者虚拟现实设备和应用的最新潮流，由此，混合现实被预测成为下一个计算平台。Goldman在2016年初表示，VR和AR有潜力“从特定用例发展成为更广阔的计算平台”。2017年3月份一篇题为《下一代移动计算平台：一副太阳镜》的福布斯文章预计随着基础软件和服务的相应发展，MR眼镜将取代手机、显示器和电视机。
来自路透社的一些文章将这一新兴平台视为增强现实、人工智能和云服务的组合体，我们可以发现主要的科技公司都在文章中提供自己的观点和方案。Clay Bavor认为VR、AR与人工智能和机器学习的结合，使“组织世界信息成为Google下一阶段使命”。 凭借Windows 10 Fall Creators 更新和VR / AR设备，微软旨在构建“让每个人都能创造的平台”。今年6月，苹果公司推出了具有iOS 11的ARKit，他们在演讲中展示了A11仿生芯片，该芯片拥有可进行人工智能计算的神经引擎，其设计初衷是用于人脸识别。
操作系统和平台服务已经拥有沉浸式技术特征。Android Nougat在操作系统级别对虚拟现实进行了支持和优化。 Windows混合现实平台API也是通用Windows平台的一部分。正如我们在今年的Keynote主题演讲所看到的那样，苹果公司的新硬件是为AR和AI而设计，并与操作系统及SDK紧密耦合，以获取最优性能。现在，MR操作系统中还缺少什么？ 它会是什么样子？
来自第14届操作系统热点研讨会的一篇论文，探讨了操作系统应如何发展以支持AR应用。由于AR需要自然用户输入，作者在其环境下重新设想输入是对现实世界的连续感知。由于敏感信息与原始数据混合，所以需要分析用户隐私机制。此外，文章认为传感器输入访问不应该一次限于一个应用程序; 相反，希望让来自不同供应商的多个AR应用程序同时读取传感器输入并在共享3D现实中渲染虚拟叠加层。文章还指出，传统GUI中的合成窗口抽象不再可行，因此操作系统必须演变，“将3D对象暴露为显示抽象，并在3D空间中执行显示隔离和管理”。而在AR应用程序（例如计算机视觉和AI）中非常常见的功能应该从应用程序剥离并成为专用操作系统的模块。
现在，我们正在重新思考“一个内容或服务等于一个应用图标”的原则。我们认为MR应该是以人为本，以对象为中心，以世界为设备。所以我们正在重新审视应用程序作为单独图标显示，而用户必须点击才能执行的这种做法。在新型计算平台中，计算机视觉和AI是基础性服务，我们设想的MR体验不仅会在用户要求时，而是在用户需要时启动。例如：当用户拿起物理的玩具枪时自动启动战斗游戏，当用户从冰箱中挑选一顿晚餐时，出现微波烹饪说明。这需要操作系统的平台服务允许应用程序注册其启动条件，作为一种移动设备上的自动定位型任务扩展。
在之前的文章中，我们提到了我们的规划，MR设备之外的传感器将填充我们周围的物理空间。物联网将与MR可穿戴设备进行双向通信。很明显，这个场景是受Vernor Vinge的Rainbows End启发的。“现在的加密机器无处不在。它们潜伏在墙上，藏在树中，甚至散落于草坪。它们每天二十四小时都默默无闻地工作”。但是已经有一些通用传感的案例。例如：卡内基梅隆大学的合成传感器计划。有了传感器才能更好地了解物理世界。但正如Greg 在本系列第二部分中所指出的那样，世界即游乐场以及使用户与其周围的有形世界保持联系，也需要在混合现实中操纵物理对象的能力。Reality Editor和Open Hybrid 是目前实现这种双向通讯的较好例子。对于新兴的MR计算平台来说，这意味着，MR眼镜的操作系统服务应该将输入/输出设备的概念扩展到新的非本地硬件，这些硬件在运行时可以进行识别、连接或控制。即当进入房间时，识别并连接到环境传感器，或在运行时识别并与智能户外摄像机进行交互。这样的话，单独的应用程序不必每次重新启动。因此，根据目前的趋势和我们对“下一个计算平台”发展方向，我们研究工作的进行了一些假设：
连接不是问题：第五代（5G）无线网络预计将与固定宽带竞争。光保真（LiFi）通信已经部署，预计将在美国和欧洲或世界上其他地区很快上市。
操作系统和平台将提供机器学习和计算机视觉服务，并允许与物联网进行双向通信。
云服务将允许存储持久矩阵,即物理世界的数据副本，以及同步的共享混合现实。 通过这种方式，设备将成为进入持续现实的窗口。
连接到IoT的各种传感器和设备将遍布周遭并与MR设备进行双向通信。
当然，我们并不完全知道基于这些假设的服务和技术将如何成型，以及对Unity引擎可以创造的功能会产生什么深刻的影响。 此外，数据隐私和安全隐患巨大，需要每个参与者认真考虑。我们希望我们的实验能够带来一些答案，并在正确的方向上将混合现实塑造成主流。
增强应用
在《混合现实未来展望（二）》描述的世界中，我们假象了使用环境应用程序形式的MR体验，比如提供的名片和麦片盒游戏。这类应用程序需要改变部分创建和开发的方式。
首先，我们提出，在需要时启动MR体验。作为在Unity中创建MR应用程序的过程的一部分，创建者应该能够指定启动应用程序必须满足的条件。我们用环境触发器（contextual trigger）这个术语来定义它。环境触发器是用户激活MR体验的虚拟或物理环境的标准。它们可以是某个时间、GPS坐标、靠近特定物理对象、基准标记、互联网设备上的序列号等。通过脑机接口，及随着神经科学和机器学习的进步，环境触发器将会来自用户的意图、偏好和行为。特定体验的环境触发器将进行一组判断，在有效时启动MR体验。
其次，我们提出远离那些以独立可执行文件形式存在，并运行在自己内存空间中的应用程序。以环境应用程序取而代之。环境应用程序是一组能访问持久现实，并可以定义MR体验的数据集合。简单来说，我们将“交互式应用程序”的经典定义“增加”为：
环境触发器。
应用程序逻辑，又称互动规则：如何与用户和世界交互。
Assets：在客户端上渲染的3D / 2D视觉和音频。
环境触发器和应用只是即将到来的研究和实验的基础概念。我们目前正在对它们进行阐释和原型设计，但还有更多的问题需要回答。例如：当3D对象，而不是窗口是显示抽象时，Unity画布应该怎么样？如何将物理对象带入创作过程？在编辑现实时，调试器或观众模块是什么样的？
“编辑现实”是一个重要的主题。我们不仅需要考虑应用程序如何使虚拟和物理现实交互，而且还要考虑创建这些应用程序的过程。
这里有一个模拟应用程序的视频，探索如何在MR中创建MR环境应用程序。通过重用许多熟悉的UI元素，向纯虚拟UI迈出了一小步。工作区周围的框架被作为容器，UI被锚定在框架外面，那样将框架拖向新的物理对象时将会带动UI元素。该框架还引导用户并指示在哪里查看以激活/停用UI。正如《混合现实未来展望（二）》所述，UI应该是干净、微妙、高效和环境相关的。 这一步是一个进化，而不是一个革命，这样它可以马上投入应用，但是我们正在不断重新思考UX和交互，为了实现物理屏幕都能消失的那个未来。
https://v.qq.com/txp/iframe/player.html?vid=m0559cugciv&width=500&height=375&auto=0
使用ARkit呈现（或捕获）的模拟应用程序，展示如何在MR中创作MR环境应用程序
结语
我们正在为这些以及更多的想法制作原型，以理解差距，并推动创新。我们将及时公布相关信息在Unity官方中文社区（unitychina.cn），请保持关注！
感谢本文的主要作者UX / IxD设计师和未来学者Colin Alleyne，感谢Unity Labs的创作工具组编写了视频中显示的模拟应用程序。
推荐阅读
点击“阅读原文”进入Unity官方中文社区！